Je dobře známo, že na trénování a běh velkých LLM je potřeba mnoha velmi výkonných GPU. ORNL na superpočítači Frontier rozjel LLM o bilionu parametrů na 3000 kartách MI250X. Dostupných GPU je ale řádově více.
10.1.2024, Milan Šurkala, aktualita
V originale trilion, wow.
Odpovědět0 0
Ano, tento dvojí systém značení je matoucí, ale co už.
https://cs.wikipedia.org/wiki/Kr%C3%A1tk%C3%A1_a_dlouh%C3%A1_%C5%A1k%C3%A1la
https://cs.wikipedia.org/wiki/Kr%C3%A1tk%C3%A1_a_dlouh%C3%A1_%C5%A1k%C3%A1la
Odpovědět0 0
Asi lepší kšeft, než pár hráčů, co by chtěli nové Pc :o)
Odpovědět0 2
Z té dobíhající ještě stále aktuální řady 200 nejlevnější MI 210 což je polovina MI 250 což je níže taktovaná vzduchem chlazená varianta TOP MI 250X vodou chlazené. A ta 210. stojí u nás: 217 365 Kč bez DPH / 263 012 Kč s DPH.
https://smicro.cz/amd-instinct-mi210-64gb-hbm2-90skc000-m76an0
Takže cenu 300X si ani nepředstavuji raději.
https://smicro.cz/amd-instinct-mi210-64gb-hbm2-90skc000-m76an0
Takže cenu 300X si ani nepředstavuji raději.
Odpovědět4 0
MI300X tam je taky. Noooo, slušná cena
https://smicro.cz/amd-instinct-mi300x-192gb-hbm3-100-300000045h
https://smicro.cz/amd-instinct-mi300x-192gb-hbm3-100-300000045h
Odpovědět0 0
Ani jsem ji v ceníku nečekal, MI250 jsem tam předtím nikdy nenašel.
Odpovědět0 0
Což o MI 250X - to je nejvyšší model - dvoučip vodou chlazený ve spc. formátu, pod ní jsou ještě 250 a 210 první taky dvoučip, druhý jednočip (když nepočítám HBM) ale už chlazené vzduchem a do PCIe slotu a ty se dají snadno integrovat do běžných serverů a pracovních stanic. Řada 300 zatím obsahuje jen nejvyšší modely. Těch výsledků je hodně takže pro srovnání uvedu jen MI 250X a MI 300X a dál pak rozdíl mezi 300X a 300A.
300X:
Peak Eight-bit Precision (FP8) Performance 2.61 PFLOPs
Peak Eight-bit Precision (FP8) Performance with Structured Sparsity 5.22 PFLOPs
Peak Half Precision (FP16) Performance 1.3 PFLOPs
Peak Half Precision (FP16) Performance with Structured Sparsity 2.61 PFLOPs
Peak Single Precision (TF32 Matrix) Performance 653.7 TFLOPs
Peak Single Precision (TF32) Performance with Structured Sparsity 1.3 PFLOPs
Peak Single Precision Matrix (FP32) Performance 163.4 TFLOPs
Peak Double Precision Matrix (FP64) Performance 163.4 TFLOPs
Peak Single Precision (FP32) Performance 163.4 TFLOPs
Peak Double Precision (FP64) Performance 81.7 TFLOPs
Peak INT8 Performance 2.6 POPs
Peak INT8 Performance with Structured Sparsity 5.22 POPs
Peak bfloat16 1.3 PFLOPs
Peak bfloat16 with Strutured Sparsity 2.61 PFLOP
Ano je toho hodně. 300A má méně CU: 228 proti 304, ale navíc 24 jader ZEN 4 na taktu 3,7 GHz takty CU jsou stejné.
300X má 192 GB - 300A 128 GB, obojí s 5,3 TB/s.
300X:
Peak Eight-bit Precision (FP8) Performance 2.61 PFLOPs
Peak Eight-bit Precision (FP8) Performance with Structured Sparsity 5.22 PFLOPs
Peak Half Precision (FP16) Performance 1.3 PFLOPs
Peak Half Precision (FP16) Performance with Structured Sparsity 2.61 PFLOPs
Peak Single Precision (TF32 Matrix) Performance 653.7 TFLOPs
Peak Single Precision (TF32) Performance with Structured Sparsity 1.3 PFLOPs
Peak Single Precision Matrix (FP32) Performance 163.4 TFLOPs
Peak Double Precision Matrix (FP64) Performance 163.4 TFLOPs
Peak Single Precision (FP32) Performance 163.4 TFLOPs
Peak Double Precision (FP64) Performance 81.7 TFLOPs
Peak INT8 Performance 2.6 POPs
Peak INT8 Performance with Structured Sparsity 5.22 POPs
Peak bfloat16 1.3 PFLOPs
Peak bfloat16 with Strutured Sparsity 2.61 PFLOP
Ano je toho hodně. 300A má méně CU: 228 proti 304, ale navíc 24 jader ZEN 4 na taktu 3,7 GHz takty CU jsou stejné.
300X má 192 GB - 300A 128 GB, obojí s 5,3 TB/s.
Odpovědět1 0
250X:
Peak Half Precision (FP16) Performance 383 TFLOPs
Peak Single Precision Matrix (FP32) Performance 95.7 TFLOPs
Peak Double Precision Matrix (FP64) Performance 95.7 TFLOPs
Peak Single Precision (FP32) Performance 47.9 TFLOPs
Peak Double Precision (FP64) Performance 47.9 TFLOPs
Peak INT4 Performance 383 TOPs
Peak INT8 Performance 383 TOPs
Peak bfloat16 383 TFLOPs
Je vidět nárůst počtu formátů, 128 GB - 3,2 TB/s. Rozdíly ve výkonu uvedu v 16 a 64 bitech bez přípravy dat:
383 - 980,6 - 1300 tedy 2,18x a 3,39x
47,9 - 61,3 - 81,7 tedy 1,27x a 1,71x Je tedy zjevné, kde je větší zlepšení.
Peak Half Precision (FP16) Performance 383 TFLOPs
Peak Single Precision Matrix (FP32) Performance 95.7 TFLOPs
Peak Double Precision Matrix (FP64) Performance 95.7 TFLOPs
Peak Single Precision (FP32) Performance 47.9 TFLOPs
Peak Double Precision (FP64) Performance 47.9 TFLOPs
Peak INT4 Performance 383 TOPs
Peak INT8 Performance 383 TOPs
Peak bfloat16 383 TFLOPs
Je vidět nárůst počtu formátů, 128 GB - 3,2 TB/s. Rozdíly ve výkonu uvedu v 16 a 64 bitech bez přípravy dat:
383 - 980,6 - 1300 tedy 2,18x a 3,39x
47,9 - 61,3 - 81,7 tedy 1,27x a 1,71x Je tedy zjevné, kde je větší zlepšení.
Odpovědět1 0
V ktorom vesmire?
Odpovědět0 5
Jak vidno jde llm trénovat na MI250X velmi dobře. To není vůbec dobrá zpráva pro nvidii, která taky dodává podobné karty, a nyní je llm hype. Celkem bych řekl že momentálně se amd dost daří.
Odpovědět6 0
Zajímá Vás tato diskuze? Začněte ji sledovat a když přibude nový komentář, pošleme Vám e-mail.
Nový komentář k článku
Pro přidání komentáře se přihlaste (vpravo nahoře). Pokud nemáte profil, zaregistrujte se pro využívání dalších funkcí.
reklama
reklama
Z dalších serverů
